Boomy 综合使用文档
一、关于Boomy
(一)部件信息
Boomy 整机具备 21 个自由度。单臂拥有 4 个自由度,包括(左手坐标系):
肩关节pitch肩关节roll上臂关节yaw手肘关节pitch
单腿拥有 6 个自由度,包括:
髋关节pitch髋关节roll大腿关节yaw膝关节pitch踝关节pitch踝关节roll
腰关节拥有 1 个自由度,包括:
腰关节yaw
拥有多个关节电机自由度,使得Boomy机器人能够实现精确的运动控制和姿态控制。
详细信息如下:
| 参数 | Boomy | Boomy-教育版 |
|---|---|---|
| 高宽厚(站立) | 97cm*35cm*20cm | |
| 带电池重量 | 约20.5kg | |
| 总自由度 | 21 | |
| 单腿自由度 | 6 | |
| 单手臂自由度 | 4 | |
| 腰部自由度 | 1 | |
| 算力模块 | / | NVIDIA Jetson Orin NX |
| 关节通讯方式 | EtherCAT & Canfd | |
| 关节最大扭矩 | 70N.m | |
| 小腿&大腿长度 | 约513mm | |
| 手臂臂展 | 约379mm | |
| 供电方式 | 锂电池 | |
| 急停功能 | 软件急停 & 硬件急停 | |
| 基础算力 | 6 TOPS | 6 + 117 TOPS |
| 相机型号 | DC_V93 | Realsense D435I |
| 感知传感器 | IMU、相机 | |
| 麦克风阵列 | 标配 | |
| 扬声器 | 标配 | |
| 语音交互模型 | ChatGPT | |
| 语音控制 | 支持 | |
| 智能电池 | 快拆电池 | |
| 图像传输 | App内有 | 开发中可直接在算力板上访问硬件 |
| 充电器 | 有 | |
| 手机APP | 有 | |
| OTA升级 | 有 | |
| 续航时间 | 2~3H | |
| 二次开发(HighController) | 有 | |
| 二次开发(LowController) | / | 有 |
| 开发语言 | python C++ 图形化编程 | |
| 部件介绍图 | ![]() ![]() | |
(二)外观件尺寸



(三)材料构成

(四)电气接口
在Boomy背面,提供电气接口如下:

| 序号 | 类型 | 说明 | 数量 |
|---|---|---|---|
| 1 | RJ45 | 交换机 1000 BASE-T | 1 |
| 2 | USB | 运控板/算力板 USB 3.0 | 2 |
| 3 | HDMI | 运控板/算力板 高清显示线 | 1 |
带算力板的Boomy 后背接口为算力板的接口,不带算力板的Boomy,后背接口为运控板的接口
(五)机载计算机
| 类型 | 型号 | 用户 | 密码 | IP | 算力 | 频率 | 内存 |
|---|---|---|---|---|---|---|---|
| 运控板 | 瑞芯微 RK3576 | 运控板不对用户开放 | 192.168.55.102 | 6 TOPS | 2.4GHz | 8+64GB | |
| 二开算力板 | NVIDIA Jetson Orin NX | noetix | Boomy | 192.168.55.101 | 117 TOPS | 2.0GHz | 16+128GB |
运控板(瑞芯微 RK3576)不面向用户开放,如用户私自访问运控板导致运控程序失控,由此造成的损失由用户自行承担
(六)相机信息
Boomy-EDU:Realsense D435i
英特尔® 实感™ 深度摄像头 D435i - 产品规格 | 英特尔
Boomy-标准:DC_V93

(七)电池信息
| 参数 | 信息 |
|---|---|
| 品牌 | 深圳格瑞普 |
| 型号 | GRP6752097-13S1P |
| 容量 | 5100mAh |
| 电压 | 48V |
| 重量 | 1360g |
(八)充电器规格参数
| 参数 | 信息 |
|---|---|
| 产品型号 | TA300 Robot |
| 输入 | 100-240V~50/60Hz 4.5A |
| 电池类型 | LiPo/LiFe/LiHV 13S-16S |
| 尺寸 | 172*97*46mm |
| 产品名称 | Smart charger智能充电器 |
| 输出 | 35-72V ⎓ 7.5A 350W Max |
| 工作模式 | Charge/充电 |
| 重量 | 510g±10g |
二、使用说明
(一)启动设备及注意事项
一、设备取出与放置
- 将 Boomy 从收纳位置取出。
- 将其扶稳,使其坐于地面。
二、电池安装
- 将电池插入 Boomy 后背电池仓。
- 确认电池安装到位(卡扣锁定)。
三、设备开机
- 短按一次电池开关,确认电池指示灯亮起。
- 随后长按电池开关,直至出现流水灯效果。
- 等待机器人完成开机。
四、初始化姿态调整
- 将 Boomy 面朝上平躺于地面,要确保地面平坦不打滑,Boomy脚底板无其他异物,且周围无杂物,避免Boomy执行自动起身的时候被周围杂物影响而失败
五、系统初始化说明
- 开机后,Boomy 会自动进入全身使能模式:
- 所有关节将自动运动至零位
- 过程中请勿干预或阻挡关节运动
⚠️ 注意事项
- 开机过程中避免触碰关节,防止夹伤或干扰初始化
- 确保地面平整,避免姿态异常
- 电池未正确安装时禁止开机
-
开机时,确保急停按钮处于弹起状态,使用过程中,非紧急情况不要触发按下急停按钮
(二)Boomy连接方式

连接 Boomy 后,请勿在系统设置中选择‘遗忘设备’,否则会清除蓝牙记录,导致该设备无法再次连接。如误操作,请联系售后。
(三)手机APP连接设备及操作控制
Noetix Run App下载:
Android:

iOS:NOETIX Run App - App Store
Noetix Run App使用说明: BOOMY机器人使用说明
(四)急停功能
本产品支持App 端与Boomy 设备本体两种急停方式:
-
设备本体急停按键 按下按键后设备立即断电,整机瘫软倒地。正常使用请勿误触,防止设备摔倒受损;发生意外时,请立即按下,规避进一步损失。
-
App 急停(全局悬浮按键) 按键默认隐藏于侧边栏,点击侧边栏后呼出。按下后机器人不会断电,仅全身瘫软。正常使用请勿误触,避免设备摔倒损伤;发生意外时,请立即按下,规避进一步损失。
App急停流程
急停按钮

(五)设备关机及电池充电
一、设备收纳准备
- 在 APP 中执行 一键收纳操作。
- 收纳完成后,将 Boomy 扶稳,使其坐于地面。
二、设备关机
- 长按电池开关,直至 Boomy 完全关机。
三、电池拆卸
- 按住电池卡扣。
- 从 Boomy 后背电池仓中取出电池。
四、电池充电
- 将电池放置于电池底座上,并确保连接到位。
- 将充电适配器接入电池底座。
- 将适配器插入 220V 电源。
五、充电状态确认
- 观察电池指示灯:
- 指示灯闪烁:正在充电
- 绿色灯常亮:电池已充满
(六)使用教程视频
1. Boomy开箱视频
三、Boomy开发指南
(一)Boomy支持如下开发接口
- DDS:由DDS接口封装成的SDK,支持
python、C++- 更加轻量化,集成封装成简单易懂的函数接口
- ROS2:由ROS2封装集成出来的topic,供外界访问
- 更适用于科研实验室场景,硬核专业的ROS2 topic访问
noetix_ros2_boomy: https://github.com/Noetix-Robotics/noetix_ros2_boomy
(二)Boomy URDF文件
(三)Boomy-DDS-SDK
github链接:
GitHub - Noetix-Robotics/noetix_sdk_boomy: This is SDK for Noetix robot Boomy with DDS interface.
SDK介绍
本文档介绍Boomy基于 DDS消息中间件 通信开发,本SDK采用 C/S架构,在隔离机制下,使 Boomy 机器人的 二次开发算力板部署DDS客户端程序 与机器人上作为服务器的 运控板的运控程序 以 500Hz 的频率下发控制命令,并持续获取当前机器人状态。DDS采用的是 CYCLONEDDS 0.11.0。
1. 系统框架图

DDS接口通过在运控板和算力板隔离机制下,通过暴露出dds接口,供算力板访问开发
2. 应用开发 HighController
应用开发介绍
HighController 基于原厂运动控制策略进行上层调度开发,在不改变底层控制逻辑的前提下,实现机器人自动化应用的快速构建,并支持与大模型集成,打造定制化智能行为系统。
典型应用包括:
- 结合视觉算法与原厂运控系统,实现自主感知与自主行进
- 结合语音交互模块,实现自然语言控制
- 接入大模型,根据输入动态生成并调用原厂控制动作(具备一定风险,需要严格安全策略)
- 配合外挂感知雷达,实现定位导航巡检系统
简而言之,HighController 通过对原厂控制能力的高层调度封装,实现对遥控器或 APP 可控行为的自动化与程序化调用,并在此基础上拓展部分自主化与智能化能力。
(1)HighController架构图

a. 状态上报机制
当客户端 SDK 与机器人运控程序建立连接后,运控程序会持续向客户端推送机器人实时状态信息,包括:
- 全身电机参数数据(pos 位置、vel 速度、tau 扭矩、kp、kd、temperature 温度、error 错误信息)
- IMU 状态数据
- 当前工作模式(
workmode,表示当前运行的控制策略) - 澳加狮手柄数据(用于同步人工输入或辅助控制)
- 电池电量及相关系统状态信息
b. 客户端控制指令下发
客户端结合自身应用场景向运控程序发送控制指令,主要包括:
-
(x, y, z) 行进控制数据
仅在特定模式下有效,例如走路模式、握手、打招呼、欢呼、示教模式等。
-
action 指令
与
workmode对应,用于切换或触发机器人当前运行的算法策略。 -
data 附加 DDS 数据
通常在
PLAYTEACH(播放示教模式)下使用,用于指定示教文件索引等附加参数。
c. 运控程序内部处理流程
运控程序接收到客户端指令后:
- 将控制参数传递给内部控制算法
- 算法基于强化学习模型进行策略计算
- 生成电机目标期望值(目标位置、速度或力矩)并发送到电机控制接口
- 将计算结果下发至硬件控制层
d. 硬件执行层
硬件层接收目标控制数据后:
- 执行电机控制指令
- 完成对应的期望动作
在整个流程中,用户仅需下发部分高层控制参数。
具体的运动规划、动态平衡与电机级控制计算均由原厂运控程序中的黑盒算法完成。
因此,在 HighController 模式 下,用户能够调用和自动化的能力范围,原则上不超过 APP 或手柄原本可实现的功能边界,但不开放底层电机级控制权限。
(2)HighController运行流程图

a. 初始化阶段(init)
系统启动后完成以下初始化流程:
- 建立客户端与机器人运控程序之间的通信连接
- 注册机器人状态数据接收回调函数
b. DDS 回调线程持续接收回传状态
运控程序持续向客户端推送机器人状态数据。
回调函数接收到数据后进行封装,并分别存入缓冲区及全局状态变量:
motor_state_buffer_:电机状态缓冲区imu_buffer_:IMU 状态缓冲区joy_buffer_:手柄数据缓冲区curmode:当前运控策略模式BmsState:当前电池信息
(3)HighController常用接口及参数表
| HighController接口 | ||
|---|---|---|
| 接口名称 | 接口描述 | 返回类型 |
| instance | 获取HighController单例指针 | 对象指针 |
| init | HighController对象初始化 | 无 |
| publish_cmd | 发布DDS控制命令数据 | 无 |
| subscribe_robot_hardware_status | 订阅机器人硬件状态信息 | 无 |
获取HighController对象单例
| 函数名 | instance |
|---|---|
| 函数原型 | static HighController *Instance() |
| 功能概述 | 获取 HighController单例 |
| 参数 | 无 |
| 返回值 | HighController单例对象指针 |
| 备注 |
C++示例:
HighController *ctrl = HighController::Instance();
Python示例:
ctrl = HighController.instance()
HighController对象初始化
| 函数名 | init |
|---|---|
| 函数原型 | bool init() |
| 功能概述 | HighController对象初始化 |
| 参数 | 无 |
| 返回值 | bool |
| 备注 |
C++示例:
ctrl->init();
Python示例:
ctrl.init()
发布机器人控制指令
| 函数名 | publish_cmd |
|---|---|
| 函数原型 | void publish_cmd(double x, double y, double z, ControlCmd action, uint16_t index) |
| 功能概述 | 使用HighController发送dds控制指令 |
| 参数 |
|
| 返回值 | 无 |
| 备注 | 此接口不能连续调用,否则机器人接收指令太快会无法响应,需要在每次指令发送至少添加2ms的延时 |
C++示例:
ctrl->publish_cmd(0, 0, 0, ControlCmd.CHEER, 0);
Python示例:
ctrl.publish_cmd(0, 0, 0, ControlCmd.CHEER, 0)
action参数表示切换机器人到对应模式
| 参数名称 | 定义原型 | 序号 | 示例值 | 说明 |
|---|---|---|---|---|
ControlCmd | | 0 | WALK | 走路模式(半身行走) |
| 1 | SWING | 出厂预设动作挥手 | ||
| 2 | SHAKE | 出厂预设动作握手 | ||
| 3 | CHEER | 出厂预设动作欢呼 | ||
| 4 | FULLWALK | 全身行走 | ||
| 5 | START | 使能/失能 | ||
| 6 | SWITCH | 准备模式 | ||
| 7 | STARTTEACH | 开始示教 | ||
| 8 | SAVETEACH | 保存示教 | ||
| 9 | ENDTEACH | 结束示教 | ||
| 10 | PLAYTEACH | 播放示教 | ||
| 11 | DANCE0 | 舞蹈1模式(what is love) | ||
| 12 | FALLTOSTAND | 起身 | ||
| 13 | STANDTOFALL | 收纳 | ||
| 14 | DANCE1 | 舞蹈2模式(jueshi) | ||
| 15 | DANCE2 | 舞蹈3模式(gee) | ||
| 16 | ZHOUJI | 肘击 | ||
| 17 | DEFAULT | 空模式 |
DEFAULT空模式使用目的
整个机器人线程会循环执行 process 控制函数,控制函数是周期循环执行的,如果在其中持续下发
action = ControlCmd::PLAYTEACH; 等示教相关命令的话
机器人会在 示教播放动作未播放完的情况,导致动作被反复打断,表现为机器人“卡住、无反应”。
正确做法
PLAYTEACH 属于 一次性触发指令(事件),应 只发送一次;后续循环发送 DEFAULT(空指令),避免重复触发。
示例代码(修正后)
if (is_first) {
action = ControlCmd::PLAYTEACH; // 只触发一次
is_first = false;
} else {
action = ControlCmd::DEFAULT;
}
效果
- 收到
PLAYTEACH→ 触发并完整执行示教动作 - 后续
DEFAULT→ 不再打断动作 - 机器人行为正常、可预期
动作类指令要“边沿触发”,不能在控制循环里持续下发。
START 使能/失能
workmode == 30,发送START使机器人进入使能模式
workmode != 30,发送START使机器人立刻进入失能模式
关于模式之间切换请遵循以下状态机
Boomy 状态机

index用于在示教相关模式下指定示教文件索引
ctrl.publish_cmd(0, 0, 0, ControlCmd.STARTTEACH, 0) # 开始示教
sleep(10) # 录制示教动作
ctrl.publish_cmd(0, 0, 0, ControlCmd.SAVETEACH, 1) # 结束并保存示教动作,指定索引为1
sleep(2) # 让运控程序执行完保存流程,防止被下条命令打断
ctrl.publish_cmd(0, 0, 0, ControlCmd.PLAYTEACH, 1) # 播放示教文件1
仅当 action 为以下模式时:
PLAYTEACH/WALK/DEFAULT
参数 x 和 yaw 才会生效,用于控制机器人运动;在其他模式下,x 和 yaw 无效。
订阅机器人硬件状态信息
| 函数名 | subscribe_robot_hardware_status |
|---|---|
| 函数原型 | void subscribe_robot_hardware_status(RobotHardwareStatusCallback callback); |
| 功能概述 | 订阅机器人硬件状态信息 |
| 参数 | - callback:处理机器人状态数据回调函数 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->subscribe_robot_hardware_status(
[](const RobotHardwareStatus &status) {
latest_hw_status = status;
});
Python示例:
def _on_hw_status(status):
global latest_hw_status
latest_hw_status = status
ctrl.subscribe_robot_hardware_status(_on_hw_status)
| 参数名称 | 定义原型 | 参数 | 说明 |
|---|---|---|---|
| RobotHardwareStatus | | imu_data | imu数据 |
| remote_data | 手柄数据 | ||
| motor_data | 电机数据 | ||
| bms_data | 电池数据 | ||
| workmode | 当前工作模式 |
workmode参数对应表
workmode值仅在HighController模式下有效
| 状态值 | 模式介绍 |
|---|---|
| 0 | 使能模式 |
| 1 | 准备模式 |
| 2 | 半身走路模式 |
| 3 | 全身行走模式 |
| 4 | 跑步模式 |
| 5 | 舞蹈模式0 |
| 8 | 出厂预设动作 打招呼 |
| 9 | 出厂预设动作 握手 |
| 10 | 出厂预设动作 欢呼 |
| 11 | 开始示教 |
| 12 | 结束示教 |
| 13 | 播放示教 |
| 14 | 保存示教 |
| 23 | 播放示教 |
| 26 | 保护模式 |
| 27 | 倒地起身 |
| 28 | 起身倒地 |
| 29 | 保存示教动作 |
| 30 | 失能模式 |
| 31 | 舞蹈模式1 |
| 32 | 舞蹈模式2 |
| 33 | 肘击动作 |
保存示教
SDK向机器人发送 SAVETEACH 后,机器人会陆续返回 退出示教 保存示教1 保存示教2 三个状态
保护模式
在处于**站立控制策略(走路,示教,舞蹈等)**下,运控程序会对 IMU 姿态数据进行持续监测。
当检测到姿态偏离站立稳定区间,并超过预设阈值时,系统将立即触发保护机制,强制切换至安全模式。
在保护模式下:
- 全身关节进入失能状态(电机停止主动输出)
- 终止当前运动控制策略
- 阻断进一步动作指令执行
该机制的目的在于:
- 防止机器人在跌倒或失稳过程中持续输出控制力矩
- 避免四肢失控摆动造成二次损伤
- 降低对设备本体及周围环境的潜在损害
该保护逻辑属于底层安全防护机制,具有最高优先级,不受上层控制指令影响。
手柄数据结构
| 参数名称 | 定义原型 | 示例值 | 说明 |
|---|---|---|---|
| joydata | | axes | 遥控器摇杆线性数值 |
| button | 遥控器按键按下映射数值 1被按下 0正常 |
| 手柄摇杆映射 | 映射说明 | 范围 |
|---|---|---|
| axes[0] | 右摇杆左右推动值 | [-1, 1] |
| axes[1] | 左摇杆前后推动值 | [-1, 1] |
带算力板的Boomy 后背接口为算力板接口,运控板无法插入手柄接收器,所以DDS获取不到手柄数据,所以手柄数据需要直接算力板上获取,详细请看 算力板直接获取手柄数据
IMU状态数据结构
| 参数名称 | 定义原型 | 示例值 | 说明 |
|---|---|---|---|
| NingImuData | | ori | 姿态四元数 |
| ori_cov | 姿态协方差 | ||
| angular_vel | 角速度 | ||
| angular_vel_cov | 角速度协方差 | ||
| linear_acc | 线加速度 | ||
| linear_acc_cov | 线加速度协方差 |
电机状态数据结构
| 参数名称 | 定义原型 | 示例值 | 说明 |
|---|---|---|---|
| MotorState | | pos | 电机位置 |
| vel | 电机转速 | ||
| tau | 电机扭矩 | ||
| motor_id | 电机ID | ||
| error | 电机错误码: 02H:电机过流 03H:电机电压过低 04H:电机编码器错误 06H:电机刹车电压过高 07H:DRV驱动错误 08H:超压 09H:欠压 0AH:过流 0BH:MOS过温 0CH:电机线圈过温 0DH:通讯丢失 0EH:过载 | ||
| temperature | 温度 |
电池状态数据结构
| 参数名称 | 定义原型 | 示例值 | 说明 |
|---|---|---|---|
| RobotBmsData | | battery_temp_ | 温度 |
| battery_alarm_ | 告警信息 | ||
| battery_soc_ | 电量 | ||
| battery_soh_ | 健康程度 |
(4)运控状态切换流程图

注意:使用HighController开发过程中,模式切换请遵循上述流程图以确保合理安全
(5)Demo例程介绍
SDK 文件夹中的 examples/cpp/example_high.cpp 与 examples/py/test_high.py 提供了一个示例 Demo,用于解析澳加狮手柄输入数据,并根据手柄操作生成对应控制指令发送至机器人。
3. 运控开发 LowController
运控开发介绍
LowController 将运控程序中的电机控制接口开放至 SDK,允许用户以 500Hz 的控制频率直接调节底层电机参数。结合强化学习算法部署,可实现对 Boomy 运动能力的深度定制,使其完成多样化的新动作与舞蹈等复杂行为。
注意:仅有EDU版本的Boomy可以开发LowController
(1) Boomy训练框架
敬请期待!
(2) LowController框架图

a. 状态数据上报
当客户端 SDK 与机器人运控程序建立连接后,运控程序会持续向客户端推送机器人实时状态信息,包括:
- 全身电机参数数据(pos 位置、vel 速度、tau 扭矩、kp、kd、temperature 温度、error 错误信息)
- IMU 状态数据
- 澳加狮手柄数据
b. 客户端侧控制计算
客户端结合自身算法(通常为强化学习模型)进行实时策略计算,生成各电机的目标期望值(如目标位置等),并将电机控制指令数组写入缓冲区后下发至运控程序。
c. 运控程序转发机制
运控程序接收到客户端下发的电机指令数组后,不进行高层策略计算,而是直接将控制参数转发至硬件控制层。
d. 硬件执行层
硬件层接收电机目标参数后执行控制指令,驱动电机完成期望动作。
在 LowController 模式下:
- 强化学习模型部署在客户端侧
- 用户可直接参与电机级控制
- 运控程序主要承担通信与安全转发职责
- 控制频率可达
500Hz
该模式具备更高的控制自由度与灵活性,但同时也意味着:
- 对算法稳定性要求更高
- 对实时性与系统安全性的要求更严格
- 若控制策略不稳定,可能直接影响机器人运动安全
(3)LowController运行流程图

a. 初始化阶段(init)
系统启动后完成以下初始化步骤:
- 建立客户端与机器人运控程序之间的通信连接
- 注册机器人状态数据接收回调函数
- 创建
send_thread数据发送线程
b. 状态数据回调机制
运控程序持续向客户端推送机器人状态数据。
回调函数接收数据后进行封装,并存入对应缓冲区或全局变量:
motor_state_buffer_:电机状态缓冲区imu_buffer_:IMU 状态缓冲区joy_buffer_:手柄数据缓冲区
该阶段仅负责数据接收与缓存,不参与控制策略计算。
c. send_thread(数据发送线程)
数据发送线程同样以 2ms 周期运行:
- 若
motor_cmd_buffer_不为空 - 读取最新电机控制指令
- 将电机目标数组发送至运控程序
运控程序仅负责数据转发至硬件层,不参与高层控制决策。
d. 架构特征
LowController 模式的核心特征是:
- 客户端直接参与电机级控制
- 强化学习或自定义控制算法运行在客户端
- 运控程序不再负责高层策略计算,仅承担通信与安全转发职责
- 控制频率可达 500Hz
该模式提供更高的控制自由度与算法可塑性,但同时对:
- 实时性
- 算法稳定性
- 线程安全与调度精度
提出更高要求。
(4)关节电机信息
| ID | 名称 | 关节 | 角度范围 | 弧度范围 | ||
|---|---|---|---|---|---|---|
| 0 | arm_l1_joint | 左臂肩关节pitch | -135 | 135 | -2.36 | 2.36 |
| 1 | arm_l2_joint | 左臂肩关节roll | -8 | 111 | -0.14 | 1.94 |
| 2 | arm_l3_joint | 左臂关节yaw | -90 | 90 | -1.57 | 1.57 |
| 3 | arm_l4_joint | 左臂肘关节pitch | -129 | 0 | -2.26 | 0.00 |
| 4 | leg_l1_joint | 左腿髋关节pitch | -120 | 120 | -2.09 | 2.09 |
| 5 | leg_l2_joint | 左腿髋关节roll | -38 | 90 | -0.66 | 1.57 |
| 6 | leg_l3_joint | 左大腿关节yaw | -145 | 145 | -2.53 | 2.53 |
| 7 | leg_l4_joint | 左腿膝关节pitch | 0 | 128 | 0.00 | 2.24 |
| 8 | leg_l5_joint | 左腿踝关节pitch | -55 | 25 | -0.96 | 0.44 |
| 9 | leg_l6_joint | 左腿踝关节roll | -10 | 10 | -0.17 | 0.17 |
| 10 | arm_r1_joint | 右臂肩关节pitch | -135 | 135 | -2.36 | 2.36 |
| 11 | arm_r2_joint | 右臂肩关节roll | -111 | 8 | -1.94 | 0.14 |
| 12 | arm_r3_joint | 右臂关节yaw | -90 | 90 | -1.57 | 1.57 |
| 13 | arm_r4_joint | 右臂肘关节pitch | -129 | 0 | -2.26 | 0.00 |
| 14 | leg_r1_joint | 右腿髋关节pitch | -120 | 120 | -2.09 | 2.09 |
| 15 | leg_r2_joint | 右腿髋关节roll | -90 | 38 | -1.57 | 0.66 |
| 16 | leg_r3_joint | 右大腿关节yaw | -145 | 145 | -2.53 | 2.53 |
| 17 | leg_r4_joint | 右腿膝关节pitch | 0 | 128 | 0.00 | 2.24 |
| 18 | leg_r5_joint | 右腿踝关节pitch | -55 | 25 | -0.96 | 0.44 |
| 19 | leg_r6_joint | 右腿踝关节roll | -10 | 10 | -0.17 | 0.17 |
| 20 | waist_1_joint | 腰关节yaw | -90 | 90 | -1.57 | 1.57 |
MotorCmd.pos 对应 弧度信息
(5)澳加狮手柄数据映射
澳加狮手柄。button[]和按键映射表如下:
| 键位描述 | Button index |
|---|---|
| 右肩键 | 1 |
| 左肩键 | 2 |
| X | 5 |
| Y | 6 |
| B | 7 |
| A | 8 |
| + | 9 |
| - | 10 |
| 无 | 11 |
| 左摇杆按下 | 12 |
| 手柄摇杆映射 | 映射说明 |
|---|---|
| axes[0] | 右摇杆Y方向值 |
| axes[1] | 左摇杆X方向值 |
手柄摇杆数据范围
| 最小值 | 最大值 |
|---|---|
| -1 | 1 |
(6)LowController常用接口及使用教程
| LowController接口 | ||
|---|---|---|
| 接口名称 | 接口描述 | 返回类型 |
| instance | 获取LowController单例指针 | 对象指针 |
| init | LowController对象初始化 | 无 |
| set_joint | 将电机控制命令写入缓冲区 | 无 |
| getJointsIndex | 根据关节名称获取对应ID | int |
| subscribe_robot_hardware_status | 订阅机器人硬件状态信息 | 无 |
获取LowController对象单例
| 函数名 | instance |
|---|---|
| 函数原型 | static LowController *Instance() |
| 功能概述 | 获取 LowController单例 |
| 参数 | 无 |
| 返回值 | LowController单例对象指针 |
| 备注 |
C++示例:
LowController *ctrl = LowController::Instance();
Python示例:
ctrl = LowController.instance()
LowController对象初始化
| 函数名 | init |
|---|---|
| 函数原型 | bool init() |
| 功能概述 | LowController对象初始化 |
| 参数 | 无 |
| 返回值 | bool |
| 备注 |
C++示例:
ctrl->init();
Python示例:
ctrl.init()
电机控制命令数组存入缓冲区
存入缓冲区后,会由 send_thread 线程自动发送
| 函数名 | set_joint |
|---|---|
| 函数原型 | void set_joint(std::array<MotorCmd, 21> motorcmd) |
| 功能概述 | 设置关节数据 |
| 参数 | motorcmd 电机命令结构体 |
| 返回值 | 无 |
| 备注 |
| 参数名称 | 定义原型 | 示例值 | 说明 |
|---|---|---|---|
| MotorCmd | | pos | 电机位置 |
| vel | 电机转速 | ||
| tau | 电机扭矩 | ||
| kp | pid参数 | ||
| kd | pid参数 | ||
| motor_id | 电机ID |
电机控制命令下发请严格参考 关节电机信息 中的指定参数范围
C++示例:
std::array<MotorCmd, 21> motorcmd;
// 省略算法逻辑 ...
ctrl->set_joint(motorcmd);
Python示例:
cmds = [MotorCmd() for _ in range(21)]
# 省略算法逻辑 ...
ctrl.set_joint(cmds)
根据关节电机名称获取对应关节电机ID
| 函数名 | getJointsIndex |
|---|---|
| 函数原型 | int getJointsIndex(std::string jointname) |
| 功能概述 | 根据关节电机名称获取对应关节电机ID |
| 参数 | jointname: 关节电机名称 |
| 返回值 | int:对应关节电机ID |
| 备注 |
C++示例:
int id = ctrl->getJointsIndex("arm_l1_joint");
Python示例:
id = ctrl.getJointsIndex("arm_l1_joint")
订阅机器人硬件状态信息
| 函数名 | subscribe_robot_hardware_status |
|---|---|
| 函数原型 | void subscribe_robot_hardware_status(RobotHardwareStatusCallback callback); |
| 功能概述 | 订阅机器人硬件状态信息 |
| 参数 | - callback:处理机器人状态数据回调函数 |
| 返回值 | 无 |
| 备注 | 使用方法同 HighController subscribe_robot_hardware_status |
获取澳加狮手柄数据(带算力板的Boomy 算力板直接获取)
AoLionDriver 类
| AoLionDriver类接口 | |
|---|---|
| init | 初始化 |
| getremotedata | 获取手柄数据 |
| 函数名 | init |
|---|---|
| 函数原型 | bool init(std::string port, int baudrate) |
| 功能概述 | 初始化手柄设备端口 |
| 参数 |
|
| 返回值 | true:初始化成功 false:初始化失败 |
| 备注 |
| 函数名 | getremotedata |
|---|---|
| 函数原型 | const joydata getremotedata() |
| 功能概述 | 获取手柄数据 |
| 参数 | 无 |
| 返回值 | joydata:手柄数据结构体 |
| 备注 |
使用示例
C++
AoLionDriver aoliondriver;
joydata remote_data;
aoliondriver.init("/dev/input/js0", 115200);
const joydata jdata=aoliondriver.getremotedata();
for (int i = 0; i < 14; i++)
std::cout << jdata.button[i] << std::endl;
std::cout << jdata.axes[0] << std::endl;
std::cout << jdata.axes[1] << std::endl;
Python
al = AoLionDriver()
al.init("/dev/input/js0", 115200)
jdata = al.getremotedata()
for i in range(14):
print(jdata.button[i])
print(jdata.axes[0])
print(jdata.axes[1])
4. 音视频开发
音频开发介绍
MediaController 通过 DDS Topic 与运控板语音模块建立通信链路,实现 Boomy 音频外设(扬声器、麦克风等)的控制,同时提供语音交互 Agent 配置及数据流管理能力。
注意
仅EDU版本的Boomy可以开发MediaController
开源接口如下:
状态控制与获取接口:控制唤醒、休眠、模块重启,运⾏状态获取,错误信息获取;
通⽤配置接口:通⽤参数配置和获取接口,包括:⽆对话休眠超时时间、唤醒词、唤醒回复词,休眠回复词,以及⾳视频数据流控制;
⾳频接口:⾳频流推送与获取,⾳频控制指令(暂停恢复,⾳量调节等)
视频接口,视频流推送与获取,视频控制指令(暂停恢复等)
(1)MediaController架构图


a. 媒体服务状态与数据上报
当客户端 SDK 与机器人媒体服务程序建立连接后,媒体服务程序会持续向客户端推送机器人实时媒体状态信息,包括:
- 内部音视频数据流持续获取(只有不带算力板的Boomy可以获取内部视频流)
- agent部分配置信息上报 (第一次主动获取,后面发生改变后上报)
- 脱敏加工视频流获取(带算力板的版本需持续发布外部视频流给音视频交互系统)
b. 媒体数据流及配置数据下发
- 发布 外部音频流 数据给到agent输入 或 给到内部扬声器输出
- 发布 外部视频流 数据给到agent识别
- agent部分配置信息修改,如:音量,超时时间,唤醒词,唤醒回复词,休眠回复词,数据流导向开关等
音频流采集信息输入输出数据当前仅支持:channels=8,sample_rate=16000,format=2(小端16位)

音频流播放信息输入输出数据当前仅支持:channels=2,sample_rate=16000,format=2(小端16位)

采集数据和播放数据为交错排列
(2)MediaController启动流程图

(3)MediaController 常用参数
DDS报文头Header结构
| 结构名称 | 定义原型 | 成员 | 说明 |
|---|---|---|---|
| Header | | message_id | DDS 报文ID |
| timestamp_us | us时间戳 | ||
| sn | 当前Boomy设备的SN编号 |
系统状态控制
| SystemControlType | |
|---|---|
| 枚举 | 说明 |
| TO_WAKEUP | 唤醒音视频交互系统agent |
| TO_SLEEP | 休眠音视频交互系统agent |
| TO_RESET | 重启音视频交互系统agent |
系统状态
| 参数名称 | 定义原型 | 成员 | 说明 |
|---|---|---|---|
| SystemStatus | | header | DDS 报文头 |
| value | agent状态 | ||
| reason | 状态原因 |
| WorkStatus | |
|---|---|
| 枚举 | 说明 |
| READY | 就绪状态 |
| SLEEPED | 休眠状态 |
| WAKEUPED | 唤醒状态 |
| EXIT | 退出状态 |
| StatusChangeReason | |
|---|---|
| 枚举 | 说明 |
| SYSTEM_LAUNCH | 系统启动 |
| CMD_RESET | 指令重启 |
| AUDIO_WAKEUPED | 语音唤醒 |
| CMD_WAKEUPED | 指令唤醒 |
| AUDIO_SLEEPED | 语音休眠 |
| CMD_SLEEPED | 指令休眠 |
| TIMEOUT_SLEEPED | 超时休眠 |
| ERROR_SLEEPED | 错误休眠 |
语音唤醒指通过实际人机语音交互触发;指令唤醒指通过DDS或其他指令形式触发;
系统错误
| 参数名称 | 定义原型 | 成员 | 说明 |
|---|---|---|---|
| SystemError | | header | DDS 报文头 |
| code | 错误码 | ||
| message | 错误信息 |
音频流数据
| 参数名称 | 定义原型 | 示例值 | 说明 |
|---|---|---|---|
| AudioStream | | header | DDS 报文头 |
| timestamp_us | 时间戳(us) | ||
| channels | 通道数 | ||
| sample_rate | 采样率 | ||
| format | 数据格式 | ||
| duration_ms | 时间(ms) | ||
| audio_data | 音频数据 |
视频流数据
| 参数名称 | 定义原型 | 示例值 | 说明 |
|---|---|---|---|
| VideoStream | | header | DDS 报文头 |
| timestamp_us | 时间戳(us) | ||
| format | 格式: 1: YUYV 目前仅支持YUYV格式 | ||
| width | 帧横向像素 | ||
| height | 帧纵向像素 | ||
| fps | 帧率 | ||
| video_data | 帧图像数据 |
(4)MediaController 常用接口
| MediaController接口 | ||
|---|---|---|
| Instance | 获取MediaController单例指针 | 对象指针 |
| init | MediaController对象初始化 | bool |
| set_system_control | 设置语音交互系统控制状态 | 无 |
| subscribe_system_status | 订阅音视频交互系统状态信息 | 无 |
| subscribe_system_error | 订阅音视频交互系统错误状态信息 | 无 |
| get_volume | 获取当前音视频交互系统音量 范围:0~200 | int |
| set_volume | 设置当前音视频交互系统音量 范围:0~200 | 无 |
| get_timeout | 获取无响应进入休眠时间 | int |
| set_timeout | 设置无响应进入休眠时间 | 无 |
| get_audio_cue_enable | 获取音视频交互系统提示音是否开启状态 | bool |
| set_audio_cue_enable | 设置音视频交互系统提示音是否开启状态 | 无 |
| get_internal_capture_audio_data_to_agent_enable | 获取内部麦克风采集音频流输入到agent 是否开启状态 | bool |
| set_internal_capture_audio_data_to_agent_enable | 设置内部麦克风采集音频流输入到agent 是否开启状态 | 无 |
| get_external_custom_audio_data_to_agent_enable | 获取外部音频流输入给agent是否开启状态 | bool |
| set_external_custom_audio_data_to_agent_enable | 设置外部音频流输入给agent是否开启状态 | 无 |
| get_internal_agent_audio_data_to_playback_enable | 获取agent音频流输出到内部扬声器是否开启状态 | bool |
| set_internal_agent_audio_data_to_playback_enable | 设置agent音频流输出到内部扬声器是否开启状态 | 无 |
| get_external_custom_audio_data_to_playback_enable | 获取外部音频流输出到内部扬声器是否开启状态 | bool |
| set_external_custom_audio_data_to_playback_enable | 设置外部音频流输出到内部扬声器是否开启状态 | 无 |
| get_internal_capture_video_data_to_agent_enable | 获取内部视频流输入给agent是否开启状态 | bool |
| set_internal_capture_video_data_to_agent_enable | 设置内部视频流输入给agent是否开启状态 | 无 |
| get_external_custom_video_data_to_agent_enable | 获取外部视频流输入给agent是否开启状态 | bool |
| set_external_custom_video_data_to_agent_enable | 设置外部视频流输入给agent是否开启状态 | 无 |
| get_external_custom_audio_data_to_agent_use_internal_3a | 获取外部音频流输入给agent采用内部3a算法是否开启状态 | bool |
| set_external_custom_audio_data_to_agent_use_internal_3a | 设置外部音频流输入给agent采用内部3a算法是否开启状态 | 无 |
| get_wakeup_response_words | 获取唤醒回复词 | string |
| set_wakeup_response_words | 设置唤醒回复词 | 无 |
| get_sleep_response_words | 获取休眠回复词 | string |
| set_sleep_response_words | 设置休眠回复词 | 无 |
| get_wakeup_words | 获取所有唤醒词 | string |
| add_wakeup_words | 添加唤醒词 | bool |
| reset_wakeup_words | 恢复出厂默认唤醒词 | 无 |
| subscribe_internal_audio_capture | 订阅内部麦克风采集到的音频流 | 无 |
| subscribe_internal_audio_playback | 订阅机器人内部扬声器播放的音频流 | 无 |
| subscribe_internal_video_capture | 订阅机器人内camera采集的视频流(仅不带算力板的Boomy可用) | VideoStream结构体 |
| subscribe_internal_video_desensed | 订阅音视频交互系统加工后的脱敏视频流(带算力板的Boomy需要持续发布外部视频流可用) | VideoStream结构体 |
| pause_video_capture | 暂停机器人内部camera数据采集(仅不带算力板的Boomy可用) | 无 |
| resume_video_capture | 恢复机器人内部camera数据采集(仅不带算力板的Boomy可用) | 无 |
| publish_external_video_stream | 发布外部视频流给到音视频交互系统 | 无 |
| publish_external_audio_stream | 发布外部音频流输入给agent | 无 |
| publish_external_audio_playback_stream | 发布外部音频流输出给内部扬声器 | 无 |
| pause_audio_capture | 暂停内部麦克风音频流采集 | 无 |
| resume_audio_capture | 恢复内部麦克风音频流采集 | 无 |
| pause_audio_playback | 暂停内部扬声器音频流输出 | 无 |
| resume_audio_playback | 恢复内部扬声器音频流输出 | 无 |
所有的set agent配置接口(如:改音量,改数据开关等)调用间隔不小于 500 ms,否则可能会导致语音交互系统崩溃,如果出现此问题,请联系松延售后
获取MediaController对象单例
| 函数名 | instance |
|---|---|
| 函数原型 | static MediaController *Instance() |
| 功能概述 | 获取 MediaController单例 |
| 参数 | 无 |
| 返回值 | MediaController对象单例指针 |
| 备注 |
C++示例:
MediaController *ctrl = MediaController::Instance();
Python示例:
ctrl = MediaController.instance()
MediaController对象初始化
| 函数名 | init |
|---|---|
| 函数原型 | bool init() |
| 功能概述 | MediaController对象初始化 |
| 参数 | 无 |
| 返回值 | bool |
| 备注 |
C++示例:
ctrl->init();
Python示例:
ctrl.init()
设置音视频交互系统状态
| 函数名 | set_system_control |
|---|---|
| 函数原型 | void set_system_control(media::SystemControlType type, bool is_need_reply); |
| 功能概述 | 设置音视频交互系统状态(唤醒、休眠、重启) |
| 参数 | - type:系统状态 - is_need_reply:是否需要触发 唤醒/休眠 回复词 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->set_system_control(media::SystemControlType::TO_WAKEUP, true);
Python示例:
ctrl.set_system_control(media::SystemControlType::TO_WAKEUP, true)
订阅音视频交互系统系统状态信息
| 函数名 | subscribe_system_status |
|---|---|
| 函数原型 | void subscribe_system_status(SystemstatusCallback callback); |
| 功能概述 | 订阅音视频交互系统状态信息 |
| 参数 | - callback:当状态改变时,需要触发的回调 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->subscribe_system_status([&](const media::SystemStatus &status){
printf("status is %d \r\n" , static_cast<int>(status.value));
});
Python示例:
def on_status_switch(status):
print(status.value)
ctrl.subscribe_system_status(on_status_switch)
订阅音视频交互系统系统错误信息
| 函数名 | subscribe_system_error |
|---|---|
| 函数原型 | void subscribe_system_error(SystemerrorCallback callback); |
| 功能概述 | 订阅音视频交互系统系统错误信息 |
| 参数 | - callback:当有错误信息dds报文所触发的回调 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->subscribe_system_error([&](const media::SystemError &error){
printf("status is %s \r\n", error.message.c_str());
});
Python示例:
def on_error(error):
print(error.message)
ctrl.subscribe_system_error(on_error)
获取当前音量
| 函数名 | get_volume |
|---|---|
| 函数原型 | int get_volume() |
| 功能概述 | 获取当前音视频交互系统音量 |
| 参数 | 无 |
| 返回值 | int,音量值,范围:0~200 |
| 备注 |
C++示例:
int volume = ctrl->get_volume();
std::cout << volume << std::endl;
Python示例:
volume = ctrl.get_volume()
print(volume)
设置当前音量
| 函数名 | set_volume |
|---|---|
| 函数原型 | void set_volume(int volume) |
| 功能概述 | 设置当前音视频交互系统音量 |
| 参数 | volume:音量值,范围:0~200 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->set_volume(100);
Python示例:
ctrl.set_volume(100)
获取无响应进入休眠时间
| 函数名 | get_timeout |
|---|---|
| 函数原型 | int get_timeout() |
| 功能概述 | 获取无响应进入休眠时间 |
| 参数 | 无 |
| 返回值 | int,超时时间(ms) |
| 备注 |
C++示例:
int timeout = ctrl->get_timeout();
std::cout << timeout << std::endl;
Python示例:
timeout = ctrl.get_timeout()
print(timeout)
设置无响应进入休眠时间
| 函数名 | set_timeout |
|---|---|
| 函数原型 | void set_timeout(int timeout) |
| 功能概述 | 设置无响应进入休眠时间 |
| 参数 | timeout:超时时间(ms) |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->set_timeout(3000);
Python示例:
ctrl.set_timeout(3000)
获取提示音是否开启
| 函数名 | get_audio_cue_enable |
|---|---|
| 函数原型 | bool get_audio_cue_enable() |
| 功能概述 | 获取音视频交互系统提示音是否开启状态 |
| 参数 | 无 |
| 返回值 | bool |
| 备注 |
C++示例:
bool enabled = ctrl->get_audio_cue_enable();
std::cout << (enabled ? "true" : "false") << std::endl;
Python示例:
enabled = ctrl.get_audio_cue_enable()
print(enabled)
设置提示音是否开启
| 函数名 | set_audio_cue_enable |
|---|---|
| 函数原型 | void set_audio_cue_enable(bool enable) |
| 功能概述 | 设置音视频交互系统提示音是否开启状态 |
| 参数 | enable:true开启,false关闭 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->set_audio_cue_enable(true);
Python示例:
ctrl.set_audio_cue_enable(True)
获取内部麦克风采集音频流输入到agent是否开启
| 函数名 | get_internal_capture_audio_data_to_agent_enable |
|---|---|
| 函数原型 | bool get_internal_capture_audio_data_to_agent_enable() |
| 功能概述 | 获取内部麦克风采集音频流输入到agent是否开启状态 |
| 参数 | 无 |
| 返回值 | bool |
| 备注 |
C++示例:
bool enabled = ctrl->get_internal_capture_audio_data_to_agent_enable();
std::cout << (enabled ? "true" : "false") << std::endl;
Python示例:
enabled = ctrl.get_internal_capture_audio_data_to_agent_enable()
print(enabled)
设置内部麦克风采集音频流输入到agent是否开启
| 函数名 | set_internal_capture_audio_data_to_agent_enable |
|---|---|
| 函数原型 | void set_internal_capture_audio_data_to_agent_enable(bool enable) |
| 功能概述 | 设置内部麦克风采集音频流输入到agent是否开启状态 |
| 参数 | enable:true开启,false关闭 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->set_internal_capture_audio_data_to_agent_enable(true);
Python示例:
ctrl.set_internal_capture_audio_data_to_agent_enable(True)
获取外部音频流输入给agent是否开启
| 函数名 | get_external_custom_audio_data_to_agent_enable |
|---|---|
| 函数原型 | bool get_external_custom_audio_data_to_agent_enable() |
| 功能概述 | 获取外部音频流输入给agent是否开启状态 |
| 参数 | 无 |
| 返回值 | bool,true表示已开启,false表示已关闭 |
| 备注 |
C++示例:
bool enabled = ctrl->get_external_custom_audio_data_to_agent_enable();
std::cout << (enabled ? "true" : "false") << std::endl;
Python示例:
enabled = ctrl.get_external_custom_audio_data_to_agent_enable()
print(enabled)
设置外部音频流输入给agent是否开启
| 函数名 | set_external_custom_audio_data_to_agent_enable |
|---|---|
| 函数原型 | void set_external_custom_audio_data_to_agent_enable(bool enable) |
| 功能概述 | 设置外部音频流输入给agent是否开启状态 |
| 参数 | enable:true开启,false关闭 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->set_external_custom_audio_data_to_agent_enable(true);
Python示例:
ctrl.set_external_custom_audio_data_to_agent_enable(True)
获取agent音频流输出到内部扬声器是否开启
| 函数名 | get_internal_agent_audio_data_to_playback_enable |
|---|---|
| 函数原型 | bool get_internal_agent_audio_data_to_playback_enable() |
| 功能概述 | 获取agent音频流输出到内部扬声器是否开启状态 |
| 参数 | 无 |
| 返回值 | bool,true表示已开启,false表示已关闭 |
| 备注 |
C++示例:
bool enabled = ctrl->get_internal_agent_audio_data_to_playback_enable();
std::cout << (enabled ? "true" : "false") << std::endl;
Python示例:
enabled = ctrl.get_internal_agent_audio_data_to_playback_enable()
print(enabled)
设置agent音频流输出到内部扬声器是否开启
| 函数名 | set_internal_agent_audio_data_to_playback_enable |
|---|---|
| 函数原型 | void set_internal_agent_audio_data_to_playback_enable(bool enable) |
| 功能概述 | 设置agent音频流输出到内部扬声器是否开启状态 |
| 参数 | enable:true开启,false关闭 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->set_internal_agent_audio_data_to_playback_enable(true);
Python示例:
ctrl.set_internal_agent_audio_data_to_playback_enable(True)
获取外部音频流输出到内部扬声器是否开启
| 函数名 | get_external_custom_audio_data_to_playback_enable |
|---|---|
| 函数原型 | bool get_external_custom_audio_data_to_playback_enable() |
| 功能概述 | 获取外部音频流输出到内部扬声器是否开启状态 |
| 参数 | 无 |
| 返回值 | bool,true开启,false关闭 |
| 备注 |
C++示例:
bool enabled = ctrl->get_external_custom_audio_data_to_playback_enable();
std::cout << (enabled ? "true" : "false") << std::endl;
Python示例:
enabled = ctrl.get_external_custom_audio_data_to_playback_enable()
print(enabled)
设置外部音频流输出到内部扬声器是否开启
| 函数名 | set_external_custom_audio_data_to_playback_enable |
|---|---|
| 函数原型 | void set_external_custom_audio_data_to_playback_enable(bool enable) |
| 功能概述 | 设置外部音频流输出到内部扬声器是否开启状态 |
| 参数 | enable:true开启,false关闭 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->set_external_custom_audio_data_to_playback_enable(true);
Python示例:
ctrl.set_external_custom_audio_data_to_playback_enable(True)
获取内部视频流输入给agent是否开启
| 函数名 | get_internal_capture_video_data_to_agent_enable |
|---|---|
| 函数原型 | bool get_internal_capture_video_data_to_agent_enable() |
| 功能概述 | 获取内部视频流输入给agent是否开启状态 |
| 参数 | 无 |
| 返回值 | bool,true表示已开启,false表示已关闭 |
| 备注 |
C++示例:
bool enabled = ctrl->get_internal_capture_video_data_to_agent_enable();
std::cout << (enabled ? "true" : "false") << std::endl;
Python示例:
enabled = ctrl.get_internal_capture_video_data_to_agent_enable()
print(enabled)
设置内部视频流输入给agent是否开启
| 函数名 | set_internal_capture_video_data_to_agent_enable |
|---|---|
| 函数原型 | void set_internal_capture_video_data_to_agent_enable(bool enable) |
| 功能概述 | 设置内部视频流输入给agent是否开启状态 |
| 参数 | enable:true开启,false关闭 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->set_internal_capture_video_data_to_agent_enable(true);
Python示例:
ctrl.set_internal_capture_video_data_to_agent_enable(True)
获取外部视频流输入给agent是否开启
| 函数名 | get_external_custom_video_data_to_agent_enable |
|---|---|
| 函数原型 | bool get_external_custom_video_data_to_agent_enable() |
| 功能概述 | 获取外部视频流输入给agent是否开启状态 |
| 参数 | 无 |
| 返回值 | bool,true表示已开启,false表示已关闭 |
| 备注 |
C++示例:
bool enabled = ctrl->get_external_custom_video_data_to_agent_enable();
std::cout << (enabled ? "true" : "false") << std::endl;
Python示例:
enabled = ctrl.get_external_custom_video_data_to_agent_enable()
print(enabled)
设置外部视频流输入给agent是否开启
| 函数名 | set_external_custom_video_data_to_agent_enable |
|---|---|
| 函数原型 | void set_external_custom_video_data_to_agent_enable(bool enable) |
| 功能概述 | 设置外部视频流输入给agent是否开启状态 |
| 参数 | enable:true开启,false关闭 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->set_external_custom_video_data_to_agent_enable(true);
Python示例:
ctrl.set_external_custom_video_data_to_agent_enable(True)
获取外部音频流输入给agent采用内部3a算法是否开启
| 函数名 | get_external_custom_audio_data_to_agent_use_internal_3a |
|---|---|
| 函数原型 | bool get_external_custom_audio_data_to_agent_use_internal_3a() |
| 功能概述 | 获取外部音频流输入给agent采用内部3a算法是否开启状态 |
| 参数 | 无 |
| 返回值 | bool,true表示已开启,false表示已关闭 |
| 备注 |
C++示例:
bool enabled = ctrl->get_external_custom_audio_data_to_agent_use_internal_3a();
std::cout << (enabled ? "true" : "false") << std::endl;
Python示例:
enabled = ctrl.get_external_custom_audio_data_to_agent_use_internal_3a()
print(enabled)
设置外部音频流输入给agent采用内部3a算法是否开启
| 函数名 | set_external_custom_audio_data_to_agent_use_internal_3a |
|---|---|
| 函数原型 | void set_external_custom_audio_data_to_agent_use_internal_3a(bool enable) |
| 功能概述 | 设置外部音频流输入给agent采用内部3a算法是否开启状态 |
| 参数 | enable:true开启,false关闭 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->set_external_custom_audio_data_to_agent_use_internal_3a(true);
Python示例:
ctrl.set_external_custom_audio_data_to_agent_use_internal_3a(True)
获取唤醒回复词
| 函数名 | get_wakeup_response_words |
|---|---|
| 函数原型 | string get_wakeup_response_words() |
| 功能概述 | 获取唤醒回复词 |
| 参数 | 无 |
| 返回值 | string,当前唤醒回复词 |
| 备注 |
C++示例:
std::string words = ctrl->get_wakeup_response_words();
std::cout << words << std::endl;
Python示例:
words = ctrl.get_wakeup_response_words()
print(words)
设置唤醒回复词
| 函数名 | set_wakeup_response_words |
|---|---|
| 函数原型 | void set_wakeup_response_words(string words) |
| 功能概述 | 设置唤醒回复词 |
| 参数 | words:唤醒回复词内容 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->set_wakeup_response_words("我在");
Python示例:
ctrl.set_wakeup_response_words("我在")
获取休眠回复词
| 函数名 | get_sleep_response_words |
|---|---|
| 函数原型 | string get_sleep_response_words() |
| 功能概述 | 获取休眠回复词 |
| 参数 | 无 |
| 返回值 | string,当前休眠回复词 |
| 备注 |
C++示例:
std::string words = ctrl->get_sleep_response_words();
std::cout << words << std::endl;
Python示例:
words = ctrl.get_sleep_response_words()
print(words)
设置休眠回复词
| 函数名 | set_sleep_response_words |
|---|---|
| 函数原型 | void set_sleep_response_words(string words) |
| 功能概述 | 设置休眠回复词 |
| 参数 | words:休眠回复词内容 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->set_sleep_response_words("好的,我先休息了");
Python示例:
ctrl.set_sleep_response_words("好的,我先休息了")
获取所有唤醒词
| 函数名 | get_wakeup_words |
|---|---|
| 函数原型 | string get_wakeup_words() |
| 功能概述 | 获取所有唤醒词 |
| 参数 | 无 |
| 返回值 | string,当前所有唤醒词 |
| 备注 |
C++示例:
std::string words = ctrl->get_wakeup_words();
std::cout << words << std::endl;
Python示例:
words = ctrl.get_wakeup_words()
print(words)
添加唤醒词
| 函数名 | add_wakeup_words |
|---|---|
| 函数原型 | bool add_wakeup_words(const std::string &words); |
| 功能概述 | 添加新的唤醒词 |
| 参数 | - words:新唤醒词字符串 |
| 返回值 | bool:是否通过内部正则表达式添加成功 |
| 备注 | 正则表达式:(^(((([a-z]+) )?([^\s]+) ))+@(.+)$) 例:B UW1 M IY1 @boomy |
C++示例:
if (ctrl->add_wakeup_words("B UW1 M IY1 @boomy"))
std::cout << "add succeed" << std::endl;
else
std::cout << "add fail" << std::endl;
Python示例:
if ctrl.add_wakeup_words("B UW1 M IY1 @boomy"):
print("add succeed")
else:
print("add fail")
重置唤醒词
| 函数名 | reset_wakeup_words |
|---|---|
| 函数原型 | void reset_wakeup_words(); |
| 功能概述 | 恢复默认出厂唤醒词 |
| 参数 | 无 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->reset_wakeup_words();
Python示例:
ctrl.reset_wakeup_words()
订阅机器人内部麦克风采集到的音频流
| 函数名 | subscribe_internal_audio_capture |
|---|---|
| 函数原型 | void subscribe_internal_audio_capture(AudiostreamCallback callback); |
| 功能概述 | 订阅机器人内部麦克风采集到的音频流 |
| 参数 | - callback:处理音频流数据的回调函数 |
| 返回值 | 无 |
| 备注 | 采集到的数据为8通道数据,前四个通道为Boomy头顶四个麦克风,第五第六通道为预留通道,第七第八通道为扬声器回采 |
C++示例:
ctrl->subscribe_internal_audio_capture(
[&](const media::AudioStream &stream) {
std::lock_guard<std::mutex> lk(mtx);
if (channels == 0) {
channels = stream.channels;
sample_rate = stream.sample_rate;
}
pcm.insert(pcm.end(), stream.audio_data.begin(),
stream.audio_data.end());
});
Python示例:
def on_audio(stream):
with lock:
if channels_ref[0] == 0:
channels_ref[0] = stream.channels
sample_rate_ref[0] = stream.sample_rate
pcm_all.extend(stream.audio_data)
ctrl.subscribe_internal_audio_capture(on_audio)
订阅机器人内部扬声器播放的音频流
| 函数名 | subscribe_internal_audio_playback |
|---|---|
| 函数原型 | void subscribe_internal_audio_playback(AudiostreamCallback callback); |
| 功能概述 | 订阅机器人内部扬声器播放的音频流 |
| 参数 | - callback:处理音频流数据的回调函数 |
| 返回值 | 无 |
| 备注 | 采集到的数据为Boomy本体扬声器的2通道数据 |
C++示例:
ctrl->subscribe_internal_audio_playback(
[&](const media::AudioStream &stream) {
std::lock_guard<std::mutex> lk(mtx);
if (channels == 0) {
channels = stream.channels;
sample_rate = stream.sample_rate;
}
pcm.insert(pcm.end(), stream.audio_data.begin(),
stream.audio_data.end());
});
Python示例:
def on_audio(stream):
with lock:
if channels_ref[0] == 0:
channels_ref[0] = stream.channels
sample_rate_ref[0] = stream.sample_rate
pcm_all.extend(stream.audio_data)
ctrl.subscribe_internal_audio_playback(on_audio)
订阅机器人内camera采集的视频流(仅不带算力板Boomy可用此接口)
| 函数名 | subscribe_internal_video_capture |
|---|---|
| 函数原型 | void subscribe_internal_video_capture(VideostreamCallback callback); |
| 功能概述 | 订阅机器人内camera采集的视频流 |
| 参数 | - callback:处理视频流数据的回调函数 |
| 返回值 | 无 |
| 备注 | 仅不带算力板的Boomy可用 |
C++示例:
ctrl->subscribe_internal_video_capture(
[&](const media::VideoStream &stream) {
printf(
"[DEBUG] video frame: %ux%u format=%u data=%zu bytes\n",
stream.width, stream.height, stream.format,
stream.video_data.size());
if (got.exchange(true))
return;
save_video_frame("internal_video_capture", stream);
});
Python示例:
def on_video(stream):
if got.is_set():
return
result[0] = stream
got.set()
ctrl.subscribe_internal_video_capture(on_video)
订阅音视频交互系统加工后的脱敏视频流
| 函数名 | subscribe_internal_video_desensed |
|---|---|
| 函数原型 | void subscribe_internal_video_desensed(VideostreamCallback callback); |
| 功能概述 | 订阅音视频交互系统加工后的脱敏视频流(带算力板的Boomy需要持续发布外部视频流可用) |
| 参数 | - callback:处理视频流数据的回调函数 |
| 返回值 | 无 |
| 备注 | 带算力板的Boomy需要先持续发布外部视频流才可使用 |
C++示例:
ctrl->subscribe_internal_video_desensed(
[&](const media::VideoStream &stream) {
printf(
"[DEBUG] video frame: %ux%u format=%u data=%zu bytes\n",
stream.width, stream.height, stream.format,
stream.video_data.size());
if (got.exchange(true))
return;
save_video_frame("internal_video_desensed", stream);
});
Python示例:
def on_video(stream):
if got.is_set():
return
result[0] = stream
got.set()
ctrl.subscribe_internal_video_desensed(on_video)
暂停机器人内部camera数据采集
| 函数名 | pause_video_capture |
|---|---|
| 函数原型 | void pause_video_capture() |
| 功能概述 | 暂停机器人内部camera数据采集(仅不带算力板的Boomy可用) |
| 参数 | 无 |
| 返回值 | 无 |
| 备注 | 仅不带算力板的Boomy可用 |
C++示例:
ctrl->pause_video_capture();
Python示例:
ctrl.pause_video_capture()
恢复机器人内部camera数据采集
| 函数名 | resume_video_capture |
|---|---|
| 函数原型 | void resume_video_capture() |
| 功能概述 | 恢复机器人内部camera数据采集(仅不带算力板的Boomy可用) |
| 参数 | 无 |
| 返回值 | 无 |
| 备注 | 仅不带算力板的Boomy可用 |
C++示例:
ctrl->resume_video_capture();
Python示例:
ctrl.resume_video_capture()
发布外部视频流给到音视频交互系统
| 函数名 | publish_external_video_stream |
|---|---|
| 函数原型 | void publish_external_video_stream(VideoStream stream) |
| 功能概述 | 发布外部视频流给到音视频交互系统 |
| 参数 | stream:VideoStream结构体,包含视频帧数据 |
| 返回值 | 无 |
| 备注 |
C++示例:
VideoStream stream;
// 填充stream数据 ...
ctrl->publish_external_video_stream(stream);
Python示例:
stream = VideoStream()
# 填充stream数据 ...
ctrl.publish_external_video_stream(stream)
发布外部音频流输入给agent
| 函数名 | publish_external_audio_stream |
|---|---|
| 函数原型 | void publish_external_audio_stream(AudioStream stream) |
| 功能概述 | 发布外部音频流输入给agent |
| 参数 | stream:AudioStream结构体,包含音频数据 |
| 返回值 | 无 |
| 备注 |
C++示例:
AudioStream stream;
// 填充stream数据 ...
ctrl->publish_external_audio_stream(stream);
Python示例:
stream = AudioStream()
# 填充stream数据 ...
ctrl.publish_external_audio_stream(stream)
发布外部音频流输出给内部扬声器
| 函数名 | publish_external_audio_playback_stream |
|---|---|
| 函数原型 | void publish_external_audio_playback_stream(AudioStream stream) |
| 功能概述 | 发布外部音频流输出给内部扬声器 |
| 参数 | stream:AudioStream结构体,包含音频数据 |
| 返回值 | 无 |
| 备注 |
C++示例:
AudioStream stream;
// 填充stream数据 ...
ctrl->publish_external_audio_playback_stream(stream);
Python示例:
stream = AudioStream()
# 填充stream数据 ...
ctrl.publish_external_audio_playback_stream(stream)
暂停内部麦克风音频流采集
| 函数名 | pause_audio_capture |
|---|---|
| 函数原型 | void pause_audio_capture() |
| 功能概述 | 暂停内部麦克风音频流采集 |
| 参数 | 无 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->pause_audio_capture();
Python示例:
ctrl.pause_audio_capture()
恢复内部麦克风音频流采集
| 函数名 | resume_audio_capture |
|---|---|
| 函数原型 | void resume_audio_capture() |
| 功能概述 | 恢复内部麦克风音频流采集 |
| 参数 | 无 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->resume_audio_capture();
Python示例:
ctrl.resume_audio_capture()
暂停内部扬声器音频流输出
| 函数名 | pause_audio_playback |
|---|---|
| 函数原型 | void pause_audio_playback() |
| 功能概述 | 暂停内部扬声器音频流输出 |
| 参数 | 无 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->pause_audio_playback();
Python示例:
ctrl.pause_audio_playback()
恢复内部扬声器音频流输出
| 函数名 | resume_audio_playback |
|---|---|
| 函数原型 | void resume_audio_playback() |
| 功能概述 | 恢复内部扬声器音频流输出 |
| 参数 | 无 |
| 返回值 | 无 |
| 备注 |
C++示例:
ctrl->resume_audio_playback();
Python示例:
ctrl.resume_audio_playback()
(5)Demo 测试用例
SDK 提供了两个完整的示例程序,功能一致,分别用 C++ 和 Python 实现:
- C++:
examples/cpp/example_media.cpp编译后运行
./build/example_media <command> [args]
- Python:
examples/py/test_media.py运行
python3 test_media.py <command> [args]
所有输出文件默认保存在 SDK 根目录的 out/ 文件夹下。
用例列表
- 获取所有common_config配置信息
python3 examples/py/test_media.py
./build/example_media
- 订阅内部麦克风采集10S音频流
python3 examples/py/test_media.py internal_audio_capture
./build/example_media internal_audio_capture
订阅内部麦克风,采集 10s,存 out/internal_audio_capture.wav
- 录制内部 speaker 播放的音频流
python3 examples/py/test_media.py internal_audio_playback
./build/example_media internal_audio_playback
订阅内部扬声器,采集 10s,存 out/internal_audio_playback.wav
- 将wav音频文件输入给音视频交互系统agent
python3 examples/py/test_media.py external_audio_agent <wav>
./build/example_media external_audio_agent <wav>
读 wav,通过set_internal_capture_audio_data_to_agent_enable和set_external_custom_audio_data_to_agent_enable开关状态,然后 TO_WAKEUP 唤醒 agent,再分 20ms chunk 通过 publish_external_audio_stream 发送,结束恢复开关状态
- 发布外部音频流输出到内部扬声器
python3 examples/py/test_media.py external_audio_playback <wav>
./build/example_media external_audio_playback <wav>
读 wav,转 2ch 交织,分 20ms chunk 通过 publish_external_audio_playback_stream 播放
- 订阅内部视频流截取一帧图像(非算力板机型)
python3 examples/py/test_media.py internal_video_capture
./build/example_media internal_video_capture
订阅内部视频流,截取一帧存 out/internal_video_capture.png
- 订阅内部脱敏视频流截取一帧图像
python3 examples/py/test_media.py internal_video_desensed
./build/example_media internal_video_desensed
订阅内部脱敏视频流,截取一帧存 out/internal_video_desensed.png
带算力板机型需先发布外部视频流给到agent,如下面示例
- 发布外部视频流输入给音视频交互程序agent
python3 examples/py/test_media.py external_video_publish
./build/example_media external_video_publish
ffmpeg 采集 /dev/video4(640x480 yuyv422 @30fps),通过 publish_external_video_stream 发布
5. 相机例程
EDU版本Boomy相机硬件直接连接到算力板上,可以直接访问算力板上硬件接口获取数据
Intel D435i 相机例程请参考:https://github.com/IntelRealSense/librealsense
带算力板的机型如果想调用相机,请先关闭官方相机图传程序
sudo systemctl stop noetix-video-capture.service # **关闭图传服务**
sudo systemctl disable noetix-video-capture.service # **禁用自启动**
sudo systemctl start noetix-video-capture.service # **开启图传服务**
sudo systemctl enable noetix-video-capture.service # **开启自启动**
6. 快速开发
以下所有操作都是在Boomy算力板上进行,算力板本身已经安装好所需编译环境,也可以通过docker部署编译环境
外挂开发部署环境请看:SDK 编译环境部署流程
外挂开发介绍
由于人形产品的运控板不对外开放,用户程序无法直接部署在运控板上运行,因此需要额外的计算载体来执行用户程序。
如果用户购买的机型未配备算力板,则需采用“外挂开发”方式:用户自备算力板或主机,通过网线连接 Boomy 后背接口,与运控板通信。
由于运控板仅允许与原版算力板的固定 IP 通信,且通信基于内部交换机的有线连接,因此外挂设备需配置为与原版算力板相同的 IP,以模拟原始算力板完成接入。
有线连接算力板 SSH登录
ssh noetix@192.168.55.101
无线连接算力板 SSH登录(无线IP可通过手机App WiFi连接中查看,算力板使用的运控板的Wifi模块)
ssh -p 2222 noetix@[机器人WIFI-IP]
(1)SDK目录结构
.
├── build.sh # 编译脚本
├── CMakeLists.txt
├── config # 配置文件
├── dds # DDS库文件
├── examples # 示例代码
├── include
├── lib # 动态库文件
├── LICENSE
├── policy # 模型文件
├── pybind # pybind 文件
└── README.md
(2)docker开发环境镜像部署
注意:此镜像包为aarch64架构,仅在aarch64架构电脑上可部署
a. 解压压缩包
tar -zxvf noetix_dds.tar.gz
解压出来后,压缩包内会有 noetix_dds.tar 开发镜像文件、noetix_dds.yaml 配置部署文件
version: "3.8"
services:
noetix_dds:
image: noetix_dds:arm64
container_name: noetix_dds
network_mode: host
volumes:
- /home/noetix/work:/home/noetix/work:rw # 挂载工作目录
# /home/noetix/work 冒号前这部分要改成用户的工作目录,并提前创建该目录
stdin_open: true
tty: true
b. 部署
docker load -i noetix_dds.tar
docker images # 确认noetix_dds arm64 镜像是否存在
mkdir -p /home/noetix/work # 创建工作目录, 用户自行选择
docker compose -f noetix_dds.yaml up -d # 部署
docker ps # 检查 noetix_dds 是否存在
c. 进入Docker容器
docker exec -it noetix_dds /bin/bash
后续将DDS SDK 放入工作目录即可开始开发
(3)编译SDK
cd noetix_sdk_Boomy
./build.sh # 一键编译脚本
编译成功后会在SDK根目录下生成可执行文件 example_low、example_high 与 example_policy_walk,并且在build目录下生成 highcontrol_py 以及 lowcontrol_py pybind库,供python调用
(4)启动程序
C++
cd noetix_sdk_Boomy
sudo ./build/example_high # or sudo ./build/example_low
Python
cd noetix_sdk_Boomy
python3 examples/py/test_low.py # python3 examples/py/test_high.py
安全提示
调试过程中,请全程使用机器人吊架,以免错误程序失控造成损失
7. 常见问题及注意事项
- DDS客户端demo:运行报错(1)
ARM架构:
error while loading shared libraries: libssl.so.1.1: cannot open shared object file: No such file or directory
libssl1.1_1.1.1f-1ubuntu2.16_arm64.deb
sudo dpkg -i libssl1.1_1.1.1f-1ubuntu2.16_arm64.deb
X86架构:
error while loading shared libraries: libssl.so.1.1: cannot open shared object file: No such file or directory
libssl1.1_1.1.1f-1ubuntu2_amd64.deb
sudo dpkg -i libssl1.1_1.1.1f-1ubuntu2_amd64.deb

